熵[統計物理與資訊理論術語]

熵的概念 是由德國物理學家克勞修斯於1865年所提出。最初是用來描述“能量退化”的物質狀態參數之一，在熱力學中有廣泛的套用。但那時熵僅僅是一個可以通過熱量改變來測定的物理量，其本質仍沒有很好的解釋，直到統計物理、資訊理論等一系列科學理論發展，熵的本質才逐漸被解釋清楚，即，熵的本質是一個系統“內在的混亂程度”。它在控制論、機率論、數論、天體物理、生命科學等領域都有重要套用，在不同的學科中也有引申出的更為具體的定義，按照數理思維從本質上說，這些具體的引申定義都是相互統一的，熵在這些領域都是十分重要的參量。

熵概念的提出

熵（希臘語：entropia 英語：entropy）的概念是由德國物理學家克勞修斯於1865年所提出。在希臘語源中意為“內在”，即“一個系統內在性質的改變”，公式中一般記為S。1923年，德國科學家普朗克（Plank）來中國講學用到entropy這個詞，胡剛復教授翻譯時靈機一動，把“商”字加火旁來意譯“entropy”這個字，創造了“熵”字,(讀shāng)，因為熵變dS是dQ除以T（溫度）的商數。

克勞修斯將一個熱力學系統中熵的改變定義為：在一個可逆過程中，輸入熱量相對於溫度的變化率，即

熵[統計物理與資訊理論術語]

T為物質的熱力學溫度；dQ為熱傳導過程中的輸入熱量，下標“reversible”表示是“可逆過程”。

熵[統計物理與資訊理論術語]

首先這裡解釋一下什麼是“可逆過程”。熱力學過程是指一個系統熱力學性質的改變過程，例如溫度、體積、壓強、內能等。當一個過程被界定為“可逆”時，即指改變過程在的每一個極短的步驟內，系統都保持非常接近平衡的狀態，稱為“準靜態過程”。否則，該過程即是“不可逆的”。例如，在一個活塞管中的氣體，其體積可以因為活塞移動而改變。“可逆”體積改變是指在進行得極其慢的步驟中，氣體的密度一直保持均勻。“不可逆”體積改變即是指在快速的體積改變中，由於體積改變太快，可以形成密度梯度和壓力波，並造成不穩定狀態。無耗散的“準靜態過程”即是“可逆過程”。若過程是不可逆的，則 不可逆。這裡過程的“可逆性”涉及到一個和“熵”密切相關的物理原理，稱為“熵增原理”，也就是“熱力學第二定律”。熱力學第二定律有很多表述形式，例如：①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；②功可以全部轉化為熱(例如物體間摩擦使一部分機械能不可逆地轉變為熱)，但任何熱機不能全部地，連續不斷地把所接受的熱量轉變為功（即無法製造第二類永動機）；③在孤立系統中，實際發生過程，總使整個系統的熵值趨於增大。

熵[統計物理與資訊理論術語]

熵[統計物理與資訊理論術語]

這些不同表述各有側重，但彼此等價。例如：在一個孤立系統中有兩個溫度不同的物體，熱量dQ 由高溫（T1）物體傳至低溫(T2)物體，高溫物體的熵減少 ，低溫物體的熵增加 ，把兩個物體合起來當成一個系統來看，熵的變化是dS=dS2－dS1>0，即熵是增加的。這說明了表述①和表述③的等價性。

物理解釋

1877年左右，玻爾茲曼提出熵的統計物理學解釋。他在一系列論文中證明了：系統的巨觀物理性質，可以認為是所有可能微觀狀態的等機率統計平均值。例如，考慮一個容器內的理想氣體。微觀狀態可以用每個氣體原子的位置及動量予以表達。所有可能的微觀狀態必須滿足以下條件：（i）所有粒子的位置皆在容器的體積範圍內；（ii）所有原子的動能總和等於該氣體的總能量值。

玻爾茲曼提出一個系統的熵和所有可能微觀狀態的數目滿足以下簡單關係，

熵[統計物理與資訊理論術語]

熵[統計物理與資訊理論術語]

這個公式稱為“玻爾茲曼公式”，其中 是玻爾茲曼常數，Ω則為系統巨觀狀態中所包含的微觀狀態總數。

熵[統計物理與資訊理論術語]

根據這個公式，我們可以將熵看作是一個系統“混亂程度”的度量，因為一個系統越混亂，可以看作是微觀狀態分布越均勻。例如，構想有一組10個硬幣，每一個硬幣有兩面，擲硬幣時得到最有規律的狀態是10個都是正面或10個都是反面，這兩種狀態都只有一種構型（排列）。反之，如果是最混亂的情況，有5個正面5個反面，排列構型可以有排列組合數 ，共252種。

根據熵的統計學定義，熱力學第二定律說明一個孤立系統的傾向於增加混亂程度，根據上述硬幣的例子可以明白，每一分鐘我們隨便擲一個硬幣，經過一段長時間後，我們檢查一下硬幣，有“可能”10個都是正面或都是反面，但是最大的可能性是正面和反面的數量相等。

我們發現，混亂程度傾向於增加的觀念被許多人接受，但容易引起一些錯誤認識，最主要的是必須明白ΔS ≥ 0隻能用於“孤立”系統，值得注意的是地球並不是一個孤立系統，因為地球不斷地從太陽以太陽光的形式接收能量。但有人認為宇宙是一個孤立系統，即宇宙的混亂程度在不斷地增加，可以推測出宇宙最終將達到“熱寂”狀態，因為（所有恆星）都在以同樣方式放散熱能，能源將會枯竭，再沒有任何可以作功的能源了。當然”宇宙是一個孤立系統“嚴格來說只是個未被驗證的假設。

可以嚴格證明，玻爾茲曼公式的另一種等價表述形式是

熵[統計物理與資訊理論術語]

熵[統計物理與資訊理論術語]

其中i標記所有可能的微觀態， 表示微觀態i的出現幾率。

資訊理論解釋

1948年，香農將統計物理中熵的概念，引申到信道通信的過程中，從而開創了”資訊理論“這門學科。香農定義的“熵”又被稱為“香農熵” 或 “信息熵”, 即

熵[統計物理與資訊理論術語]

熵[統計物理與資訊理論術語]

其中i標記機率空間中所有可能的樣本， 表示該樣本的出現幾率，K是和單位選取相關的任意常數。可以明顯看出“信息熵”的定義和“熱力學熵”（玻爾茲曼公式）的定義只相差某個比例常數。數學上，可以證明“香農熵”的定義，具有以下良好性質：

連續性

該度量應該是連續的，即，若樣本機率值有微小變化，由此引起的熵變化也是微小的。

對稱性

樣本重新排序後，該度量應保持不變，即

熵[統計物理與資訊理論術語]

極值性

當所有樣本等幾率出現的情況下，熵達到最大值（所有可能的事件等機率時不確定性最高）

熵[統計物理與資訊理論術語]

熵[統計物理與資訊理論術語]

對於樣本等幾率分布而言，樣本數越大，熵值越大（可能的時間越多，不確定性越高）

可加性

熵的值與過程如何被劃分無關。它描述了一個系統與其子系統熵的關係。如果子系統之間的相互作用是已知的，則可以通過子系統的熵來計算一個系統的熵。例如：給定一個有n個樣本的均勻分布集合，分為k個箱子（子系統），每個裡面有 b1, ..., bk 個樣本，合起來的熵應等於系統的熵與各個箱子的熵的和，每個箱子的權重為在該箱中樣本的總機率。即，對於正整數bi其中b1 + ... + bk = n來說，

熵[統計物理與資訊理論術語]

其中S的腳標，標記對應機率空間的樣本點個數。

事實上，香農證明如果要求度量滿足這些性質，則可以完全確定“信息熵”的定義表達式。

熱力學熵

根據Jaynes（1957）的觀點，熱力學熵可以被視為香農信息理論的一個套用(這從玻爾茲曼公式和信息熵的定義相似性明顯可以看出。):熱力學熵被定義為與要進一步確定系統的微觀狀態所需要的更多香農信息的量成比例。比如，系統溫度的上升提高了系統的熱力學熵，這增加了系統可能存在的微觀狀態的數量，也意味著需要更多的信息來描述對系統的完整狀態。

麥克斯韋在以他的名字命名的思想實驗（“麥克斯韋妖”）中認為，如果存在一個小妖精知道每個分子的狀態信息（熱，或者冷），就能夠降低系統的熱力學熵。Landauer和他的同事則反駁說，讓小妖精行使職責本身——即便只是了解和儲存每個分子最初的香農信息——就會給系統帶來熱力學熵的增加，因此總的來說，系統的熵的總量沒有減少。這就解決了“麥克斯韋妖”引發的悖論。Landauer法則能夠解釋現代計算機在處理大量信息時，必須解決散熱問題。